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ИНФОРМАЦИОННАЯ СИСТЕМА ДЛЯ ОЦЕНКИ ПРОИЗВОДИ- 
ТЕЛЬНОСТИ ПРОГРАММНЫХ ПРОДУКТОВ 


Наличие на рынке большого числа однотипных информационных систем приводит к 
появлению проблемы выбора оптимального программного продукта, который бы 
наиболее полно соответствовал запросам организации или пользователя. Имеющи- 
еся методики выбора оптимального продукта используют субъективную оценку 
либо требуют большого количества измерений и вычислений. В данной статье опи- 
сан один из способов сравнения несколько информационных систем по интересую- 
щим пользователя показателям. 
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Для определения степени соответствия программного продукта 
(ПП) требованиям конкретного пользователя, как правило, необходимо 
располагать данными о значениях различных показателей, характеризую- 
щих процессы функционирования ПП в заданных условиях. Эти данные мо- 
гут служить входной информацией для прогнозирования характеристик ка- 
чества ПП. Информацию, описывающую процессы функционирования ПП, 
обычно делят на четыре типа [1]: 

- Данные о рабочей нагрузке: количество обращений к системе в 

единицу времени, количество одновременно обрабатываемых 
запросов, величина очереди и т.д. 

- Характеристики данных: объем данных, которыми оперирует 
система, объем данных, передаваемых по каналам связи в 
единицу времени и т.д. 

- Данные, характеризующие уровень использования элементов 
вычислительной системы, например, коэффициент 
использования ресурсов процессора, оперативной памяти, 
сетевого интерфейса и т.д. 

Однако конечного пользователя интересуют, в первую очередь, ха- 
рактеристики потребительского качества ПП: качество интерфейса, удоб- 
ство работы, скорость выполнения операций. В литературе описаны мето- 
дики для оценки некоторых из этих показателей. Так, осуществить оценку 
и выбор оптимальной ПП по критерию функциональной полноты позволяет 
методика [2], по качеству интерфейса [3], а по скорости реализации базо- 
вых функциональных операций [4]. Последняя методика предполагает из- 
мерение производительности системы, т.е. проведение серии замеров вре- 
мени отклика ИС при изменении различных факторов: объемов справочни- 
ков и рабочих таблиц, количества одновременно работающих пользова- 
телей, состава и характеристик технических средств. Для того чтобы коли- 
чественно и с минимальными трудозатратами оценивать характеристики 
потребительского качества программной системы, необходим специальный 
инструментарий, обеспечивающий автоматизированное получение такой 
оценки. 
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Особенности предлагаемого подхода. Оценка значений характеристик 
качества ИС связана с наблюдением (мониторингом) за функционировани- 
ем исследуемой программной системы в заданных условиях и, в частности, 
с замером времени реализации каждой функции. 

Средства мониторинга предполагают проведение замеров при ре- 
альной нагрузке информационную систему, что часто не представляется 
возможным. Например, если данный программный продукт (ПП) должен 
обеспечить одновременную работу 60 пользователей, то для проведения 
измерений необходимо иметь 60 копий этого ПП, 60 компьютеров и 60 обу- 
ченных пользователей, которые будут выполнять определенные действия с 
некоторой периодичностью. Затраты на проведение такого измерения 
очень высоки, а достоверность полученных данных будет существенно за- 
висеть от действий конкретного пользователя. Для решения этих задач в 
последнее время используются различные инструменты для автоматизации 
процессов тестирования ЭИС, в частности, стресс-тестирование, которое 
позволяет анализировать поведение исследуемой программной системы 
при возрастающей нагрузке. Эти инструменты имеют встроенные средства 
замера и анализа определенных параметров системы, таких как время от- 
клика, объем используемой памяти, процент использования пропускной 
способности сети и т.д. 

При проведении стресс-тестирования выполняется имитация рабо- 
ты с программным продуктом большого числа пользователей. В процессе 
имитации может осуществляться запись действий пользователя в системе, 
запись и отсылка управляющих пакетов программы, запрос определенных 
ресурсов, заполнение БД случайными данными и т.д. Однако в 
большинстве случаев для проведения тестирования необходимо знание 
тонкостей программной реализации исследуемого ПП. Подготовка тестово- 
го сценария также требует значительных трудозатрат. Кроме того, стресс- 
тестирование не позволяет отследить динамику показателей производи- 
тельности, степень влияния различных факторов и составить прогноз изме- 
нения показателей качества при изменении значений внешних факторов. 

Поэтому представляется целесообразным создание информацион- 

ной системы, базирующейся на интеграции инструментов стресс-тестирова- 
ния и методики, описанной в [4]. Разработанная информационная система 
использует результаты стресс-тестирования в качестве исходной информа- 
ции для построения системы моделей, позволяющих прогнозировать произ- 
водительность ПП при реализации каждой функции и обеспечивает авто- 
матизацию процессов построения регрессионных моделей, варьирования 
значения факторов и проведения замеров. 
Примеры оценки производительности ПП. Лример 1. Использование 
созданной информационной системы рассмотрим на примере оценки вре- 
мени выполнения функциональной операции «Получение ведомости остат- 
ков на складе» системой «1С Торговля и склад». В качестве факторов, 
влияющих на время выполнения операции, выбраны следующие: х, - доку- 
мент «Ввод остатков по складу»; х› — документ «Поступление материаль- 
ных ресурсов»; х. — документ «Списание материальных ресурсов»; 
х.-— справочник «Номенклатура»; хь— справочник «Единицы измерения». 
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В процессе исследования варьировалось число записей (докумен- 
тов) по каждому фактору в пределах между минимальным и максимальным 
уровнем. В соответствии с планом эксперимента проведено 32 группы из- 
мерений. После обработки результатов опытов для функциональной опера- 
ции «Ведомость остатков на складе» было получено следующее уравнение: 

у = 2,52 + 2,21х: + 2,38х» + 1,94хз + 0,22х4 + 0,14х.. 

Проверка однородности дисперсий производилась по критерию 
Кохрена. Расчетное значение критерия составило 0,042, а табличное 
0,1131, следовательно, гипотеза об однородности дисперсий подтвержда- 
ется. Для проверки адекватности уравнения применялся критерий Фишера. 
Расчетное значение критерия Фишера составило 1,14, а табличное 1,43, 
следовательно, модель адекватна. 

Расчетные значения {-критериев Стьюдента для коэффициентов Б!, 
Ь> Бз Бл, Ь5 составили соответственно 2,23; 2,11; 3,05; 0,54; 0,78, а таблич- 
ное значение равно 1,645 при уровне значимости 5%. Таким образом, 
окончательное уравнение регрессии для функциональной операции «Ведо- 
мость остатков на складе» приняло вид: 

у= 2,52+ 2,21х, + 2,38х» + 1,94х.. 

Фактические и прогнозные значения времени выполнения функцио- 
нальной операции «Ведомость остатков на складе», рассчитанные по этой 
модели, представлены на рис.1. 
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Рис.1. Фактические и прогнозные значения времени выполнения 
функциональной операции «Ведомость остатков на складе» 


Полученные данные могут быть использованы для построения ими- 
тационных моделей, что позволит получать гистограммы распределения 
времени выполнения функциональной операции в конкретных условиях и 
оценку полных затрат времени на реализацию любых подмножеств функ- 
циональных операций. 

Пример 2. Описанная система позволяет осуществлять сравнение различ- 
ных ПП по производительности при выполнении заданного набора функци- 
ональных операций. Сравнение производительности ПП проведем на при- 
мере двух программных систем: системы «1С» версии 7.7 и системы «Ана- 


49 


Технические науки 








нас», в которой была проанализирована аналогичная функциональная опе- 
рация «Ведомость движения товаров по складу». 

В качестве входных факторов при проведении дробного факторного 
эксперимента были выбраны системные таблицы се129 (х!), сеЗ10(х.), 
се828(хз), с9129(х.), 411002(х5), 4101_126(х%), га296(х,) и га296_4304(хв). 

Планирование эксперимента проводилось на двух уровнях. Число 
параллельных опытов при проведении эксперимента было равно трем. На 
основании результатов опытов получено уравнение, позволяющее делать 
обоснованные выводы о влиянии анализируемых факторов на время вы- 
полнения функциональной операции «Ведомость движения товаров по 
складу»: 

у= 3,24+ 0,45х, + 1,58х> + 0,2хз + 2,44 х4 +1,8х5+ 3,/4хь+ 1,2ху+ 0,/Зха. 

Проверка однородности дисперсий производилась по критерию 
Кохрена. Расчетное значение критерия составило 0,023, а табличное 
0,1131, следовательно, гипотеза об однородности дисперсий подтвержда- 
ется. Для проверки адекватности уравнения применялся критерий Фишера. 
Расчетное значение критерия Фишера составило 1,36, а табличное 1,43, 
следовательно, мы можем принять гипотезу об адекватности модели при 
уровне значимости 5%. Расчетные значения {-критериев Стьюдента для ко- 
эффициентов Б:, Б>, Бз, Бл, 65, Бь , Б›, Бз составили соответственно 2,78; 1,92; 
0,03; 0,76; 3,24; 1,04; 0,12; 0,36, а табличное значение равно 1,645 при 
уровне значимости 5%.. Таким образом, окончательное уравнение регрес- 
сии для функциональной операции «Ведомость движения товаров по скла- 
ду» приняло вид: 

у= 3,24+ 2,51х, + 1,49х» + 1,8%. 

Анализ построенной модели показывает, что при увеличении каж- 
дого из факторов значение времени выполнения функциональной опера- 
ции также будет увеличиваться. 

Фактические и прогнозные значения времени выполнения функцио- 
нальной операции «Ведомость движения товаров по складу», рассчитан- 
ные по этой модели, представлены на рис.2. 
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Рис.2. Фактические и прогнозные значения времени 
выполнения функциональной операции 
«Ведомость движения товаров по складу» 
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Из приведенных на рис.1, 2 данных видно, что, хотя время выпол- 
нения только одной конкретной операции исследуемыми программными си- 
стемами отличается незначительно, но если в течение года пользователю 
необходимо реализовать эту операцию, например, 10 тыс. раз, то в этом 
случае разница в общих затратах времени может оказаться весьма значи- 
тельной. 

Выводы: 

1. Разработанная система позволяет с минимальными трудозатрата- 
ми проводить количественную оценку производительности ЭИС в конкрет- 
ных условиях их применения. При этом эксперименты с исследуемым систе- 
мой осуществляются в автоматизированном режиме. 

2. По результатам экспериментов строятся регрессионные модели, 
позволяющие прогнозировать время реализации каждой функции в зависи- 
мости от значений факторов, характеризующих среду, в которой функцио- 
нирует анализируемая ЭИС (от объемов баз данных, количества одновре- 
менно работающих пользователей и др.). 
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